数学的な便宜のためにデータを2次元のグリッドとして可視化しますが、ハードウェアは 連続する1次元のバイトストリームしか見ていません。この「線形現実」を理解することが、行単位の 還元パターン——たとえば最大値の探索や指数の合計などを行うための前提条件です。

1. 「線形フラット化」の原則

すべての多次元テンソルは物理的に連続して格納されます。$\text{softmax}(x_i) = \frac{e^{x_i}}{\sum_j e^{x_j}}$ を実装するには、各行を表す線形セグメントを特定し、最大値と合計を計算するために走査を行う必要があります。

2. 数値安定性

なぜSoftmaxは安定化が必要なのか？高い入力値は$e^{x}$を爆発させます。これを安定化するには：$$\text{exp}(x_i - \text{max}(x))$$ という方法を使います。これにより、最終的な正規化の前に、2回の線形還元（最大値取得 → 合計）を実行する必要が生じます。

3. 短い行による検証

Tritonカーネルを開発する際には、 短い行のみをテスト （例：幅16）を使って、本番ワークロードにスケーリングする前に、線形ポインタ演算がすべての要素を正しく捉えていることを確認します。